Khẩu súng không giật đầu tiên được phát triển bởi trung tá Cleland Davis của hải quân Hoa Kỳ, ngay trước khi diễn ra chiến tranh thế giới thứ nhất. Thiết kế của ông là gắn phần sau của hai khẩu súng vào nhau, với một nòng sẽ nạp một viên đạn và nòng còn lại sẽ chỉ chứa thuốc súng và khi cước cò cả hai sẽ nổ cùng một lúc. Ý tưởng này đã được Anh thí nghiệm ở các loại vũ khí chống khí cầu Zeppelin và chống tàu ngầm gắn trên các chiếc Handley Page Type O/100 và các máy bay khác.

Liên Xô cũng đã thiết kế, thử nghiệm các loại vũ khí không giật từ năm 1923. Đến năm 1930 đã có rất nhiều vũ khí loại này được chế tạo và thí nghiệm với các cỡ đạn từ 37 mm đến 305 mm. Một số mẫu nhỏ nhất đã được thử nghiệm trên các máy bay (Grigorovich I-Z và Tupolev I-12) một số đã được chế tạo hạn chế và mang ra chiến đấu, tuy nhiên việc nghiên cứu đã bị bỏ ngỏ như kết quả phụ của cuộc Đại thanh trừng. Khẩu súng không giật được biết đến nhiều nhất là khẩu Model 1935 76 mm DRP được thiết kế bởi Leonid Kurchevsky. Một số khẩu đã được gắn trên xe tải và tham gia chiến đấu trong cuộc chiến mùa Đông. Hai khẩu đã bị Phần Lan thu được và mang đi thử nghiệm, một khẩu đã được trao cho Đức cũng để thí nghiệm năm 1940, trong khuôn khổ hợp tác Molotov-Ribbentrop 1939-1941.

Khẩu súng không giật đầu tiên đưa vào chiến đấu trong quân đội Đức là khẩu Leichtgeschütz 40, thiết kế không giật với cỡ đạn 75 mm và nó có nòng trơn. Nó cũng được dùng trong lực lượng lính dù Đức với các loại pháo hữu dụng và các loại vũ khí chống tăng mà thường được thả xuống chiến trường một cách mau chóng. Thiết kế này đã trở nên hữu dụng trong cuộc xâm chiếm Crete với mẫu sử dụng loại đạn 105 mm. Điều thú vị là phiên bản này lại bị quân đội Hoa Kỳ sao chép một cách lỏng lẻo. Sau đó, Đức lại đi sao chép khẩu Bazooka mà họ thu được từ tay lính Mỹ dưới tên gọi mới là Panzerchreck. Hoa Kỳ cũng có một chương trình nhưng không rõ là dùng để phát triển hay sao chép thiết kế vì nó cũng có các khác biệt trên thực tế. Nhật Bản cũng đã phát triển các loại súng không giật chống tăng để tiến hành bảo vệ lãnh thổ cũng như phục vụ việc tấn công vào lục địa của mình. Dù vậy các loại súng không giật vẫn xuất hiện rất ít trong suốt cuộc chiến cho dù mẫu súng không giật của Hoa Kỳ đã trở nên ngày càng phổ biến vào năm 1945.

Trong chiến tranh thế giới thứ hai một công ty chuyên sản xuất và kinh doanh pháo của Thụy Điển là Bofors Carl Gustaf đã phát triển một loại súng trường chống tăng không giật sử dụng đạn 20mm là khẩu 20mm m/42. Người Anh đã bày tỏ sự quan tâm của mình với loại súng này nhưng vào thời điểm đó, các loại súng trường chống tăng đã trở nên lỗi thời.

Vào năm 1947 quân đội Pháp đã mua lại các khẩu 75 mm của Hoa Kỳ như các vũ khí thanh lý sau chiến tranh và đã gắn vào các xe Vespa thành mẫu Vespa 150 TAP. Nó được sử dụng bởi lực lượng lính dù Pháp như loại vũ khí cơ động chống tăng và phá lũy đã được thấy sử dụng tại Algérie và Đông Dương.

Trong chiến tranh Triều Tiên các khẩu súng không giật đã được trang bị cho một lượng lớn quân đội Hoa Kỳ. Các khẩu súng không giật tiêu chuẩn của Hoa Kỳ là khẩu M18 (57mm) và M20 (75mm), và khẩu không được thành công là M27 (105mm). Các mẫu mới hơn được mang ra thay thế là khẩu M67 (90mm) và M40 (106mm) (trên thực tế nó là cỡ đạn 105mm nhưng gọi như thế để không bị nhầm với mẩu trước đó). Liên Xô cũng có công nghệ vũ khí không giật và cỡ đạn thường thấy là 73mm, 82mm và 107mm.

Khẩu SPG-9 (73mm) trọng lượng nhẹ và B10 (82mm) hạng nặng được sử dụng trong lực lượng lính dù Nga và thường thấy tồn kho trong tất cả các nước thân Liên Xô trước đây, nơi chúng được dùng làm súng chống tăng.

Từ những năm 1960 đến những năm 1970 các tên lửa dẫn đường đã dần dần thay thế các khẩu súng không giật trong nhiệm vụ chống tăng. Các khẩu súng không giật dần dần không còn được sử dụng trong quân đội ngoại trừ những nơi rất lạnh vùng cực, nơi mà nhiên liệu tên lửa không thể bắt cháy và hệ thống dẫn đường bằng laser không thể hoạt động trong điều kiện nhiệt độ cực thấp. Các khẩu súng không giật từng được gắn trên chiếc M50 Ontos với 6 khẩu súng không giật rất có hiệu quả trong việc chống bộ binh trong chiến tranh Việt Nam nhưng càng về sau tranh luận về việc sử dụng các mẫu thiết kế hạng nặng khác càng mạnh hơn. Đến năm 1970 tất cả các Ontos đều đã bị cho ra khỏi biên chế và hầu hết đã bị tháo dỡ. Tuy nhiên loại súng này vẫn tìm được vị trí mới cho mình như tại Ấn Độ - Pakistan nơi nó được sử dụng để phá bong ke hay vai trò pháo binh trong những điều kiện rất khắc nghiệt.

Cũng trong chiến tranh Việt Nam quân đội Mặt trận Việt Nam độc lập đồng minh cũng đã tự thiết kế và chế tạo các loại súng không giật riêng để chiến đấu trong những vùng mà pháo không thể vào được hay yêu cầu độ cơ động cao, chúng thường dùng để phá lô cốt hay dùng để chống các phương tiện cơ giới bọc giáp nhẹ.

Vào những năm 1960 Hoa Kỳ đã thiết kế khẩu M-388 Davy Crockett với khả năng phóng một trái bom hạt nhân chiến thuật nhỏ.

Hiện tại súng không giật được sử dụng để gắn nhiều trên các phương tiện cơ giới hạng nhẹ vì khi bắn nó không tạo ra độ giật cao có thể làm hỏng phương tiện cũng như các phương tiện cơ giới này vốn rất nhẹ nên rất cơ động (chúng giống như những khẩu pháo dã chiến tự hành có tốc độ cao), các khẩu pháo này dùng để chiến đấu trong những điều kiện yêu cầu có hỏa lực tương đương với pháo binh và phải triển khai nhanh chóng.